När samhället blir laboratoriet

Politiska beslut ska i den bästa av världar baseras på vetenskaplig evidens. Men när det gäller samhällsinsatser är det ofta svårt att veta vilka konsekvenser olika beslut kommer att få. Genom att studera variationerna i den svenska välfärden finns det förhoppningar om att naturliga experiment ska hjälpa till att svara på några av samhällets ödesfrågor.

Välgjorda randomiserade experiment anses ha stor beviskraft och är sedan länge en vedertagen metod för att testa effekten av en behandling, i synnerhet inom medicin. Behandlingsgruppen får medicinen medan en kontrollgrupp får placebo, därefter bedöms medicinens effekt. Det här fungerar sämre inom samhällsvetenskaperna. Man kan helt enkelt inte utsätta människor för experiment på det sättet.

– Det finns etiska problem med randomiserade experiment, och det blir dessutom ofta stora ingrepp som stör verksamheterna. Randomiserade experiment för också ofta stora kostnader med sig, säger Per Johansson, professor i statistik vid Uppsala universitet.

Han har tillsammans med Pathric Hägglund skrivit ”Upp till bevis – en ESO-rapport om experiment som underlag för politik”. ESO står för Expertgruppen för studier i offentlig ekonomi. Författarna vill utmana bilden av det randomiserade experimentet som det bästa sättet att nå vetenskaplig evidens.

– Ofta är olika former av naturliga experiment det bästa möjliga sättet för att få kunskap om effekter. I och med att mer data än någonsin finns tillgänglig så kan vi dessutom studera fler frågeställningar än tidigare, säger Per Johansson.

I och med att mer data än någonsin finns tillgänglig så kan vi dessutom studera fler frågeställningar än tidigare.
Per Johansson

Vad är då naturliga experiment? Ofta handlar det om slumpmässiga händelser som delar in människor i vad som kan klassas som behandlingsgrupp och kontrollgrupp. Data kan därmed tolkas som om det vore ett kontrollerat experiment, och då blir det också ofta möjligt att dra lika säkra slutsatser som av randomiserade studier.

I dag finns väl utvecklade ramverk för hur man kan garantera kvaliteten i naturliga experiment. Bland annat gick Sveriges riksbanks pris i ekonomisk vetenskap till Alfred Nobels minne 2021 till forskarna David Card, Joshua Angrist och Guido Imbens för deras arbete med att utveckla metoden. Men själva grundtanken är inte så komplicerad.

Ett tidigt exempel är när John Snow i mitten av 1800-talet ville testa hypotesen att smutsigt vatten var orsak till koleraepidemin i London. Det fanns vid tiden två vattenföretag som tog sitt vatten från en avloppsvattenfylld del av Themsen. När det ena företaget flyttade till en renare del av floden uppstod ett naturligt experiment med olika grupper av människor som kunde jämföras. När dödligheten minskade i gruppen som fick det renare vattnet kunde John Snow dra slutsatsen att det förorenade vattnet var orsaken till epidemin.

Metoden är ofta ett bra sätt att studera politiska satsningar. Ett exempel är Rinkebymodellen, ett utökat hembesöksprogram för barnhälsovården i områden med låg socioekonomisk status, som nu ska utvärderas i ett Forte-finansierat projekt vid Uppsala universitet. Bakgrunden är att regeringen mellan 2018–2020 tilldelade regionerna 120 miljoner kronor årligen för att göra barnhälsovården mer tillgänglig. Rinkebymodellen förordades särskilt, men regionerna fick välja hur de satsade pengarna.

Modellens effekt och kostnadseffektivitet kan nu utvärderas med hjälp av det naturliga experiment som uppstod när vissa områden implementerade Rinkebymodellen och andra inte. Modellen innebär bland annat att det genomförs fler hembesök än standard inom ramen för barnhälsovården och socialtjänstens föräldrastöd. Data som kommer att mätas är exempelvis karies, sjukhusvistelser och förskolenärvaro.

Om det har införts en lag eller föreskrift uppstår det ibland naturliga experiment, och tänk om vi i större utsträckning kunde utnyttja dessa data och variationer för att få mer kunskap.
Anna Sarkadi

– Vi vill ta reda på vad som ger positiva effekter: Rinkebymodellen eller allmän resursförstärkning i utsatta områden. Tänk om vi kan hitta vad som verkligen kan göra skillnad för de här barnen, säger Anna Sarkadi, professor i socialmedicin vid Uppsala universitet.

Som läkare är hon skolad i det klassiska randomiserade experimentet. Men hon betonar att det nästan aldrig är möjligt att utföra sådana experiment när det är fråga om stora folkhälsoinsatser, och hon ser stor potential i det naturliga experimentet.

– Naturliga experiment kan användas mycket mer än det görs i dag. Det handlar om att använda fantasin och se vilka case vi har omkring oss. I synnerhet inom det psykosociala området. Om det har införts en lag eller föreskrift uppstår det ibland naturliga experiment, och tänk om vi i större utsträckning kunde utnyttja dessa data och variationer för att få mer kunskap, säger Anna Sarkadi.

En fördel är dessutom att naturliga experiment anses ha hög extern validitet, det vill säga att slutsatsen går att generalisera även till andra situationer, eftersom deltagarnas beteende inte påverkas av att de studeras. Detta är förstås en risk om individer vet om att de är med i ett experiment. Dessutom går experimenten att göra i stor skala; utvärderingen av Rinkebymodellen omfattar exempelvis alla familjer som är knutna till områden med låg socioekonomisk status i Sverige. Metoden har dock sina begränsningar.

Per Johansson förklarar att naturliga experiment helt enkelt inte är möjliga att genomföra inom alla de områden som behöver studeras.

– Man behöver ju ha de här naturliga experimenten för de ska kunna studeras, och när det gäller de mest intressanta frågorna för samhällsutvecklingen så kanske man inte hittar något naturligt experiment. Då behöver man använda andra metoder. I ESO-rapporten presenteras även metoder att använda när de naturliga experimenten inte är möjliga att använda. Per Johansson säger också att naturliga experiment, i likhet med randomiserade experiment, studerar begränsade frågeställningar.

– Det är fullt möjligt att en åtgärd som visat på positiva effekter leder till negativa effekter om åtgärden införs i stor skala, exempelvis genom att människor ändrar sitt beteende. För att studera åtgärdens långsiktiga effekter måste mer komplicerade analyser göras. Per Johanssons uppfattning är dock att forskning bäst bedrivs genom avgränsade studier som svarar på en specifik frågeställning.

– Naturliga experiment är en viktig byggsten för att förstå helheten. Men beslutsfattare måste använda flera olika studier som underlag om besluten ska kunna sägas vara evidensbaserade.

Text: Helena Eriksson Kjellgren